Learning to Adjudicate: Verifier-Guided Multi-Agent Reasoning for E-Commerce Relevance
裁决学习:验证器引导的多智能体电商相关性推理
🧭 多智能体协作相关性判定 ★ 深度解读
Tsinghua Shenzhen International Graduate School, Tsinghua University · Alibaba International Digital Commerce Group
提出 CADRE 框架,用冻结三专家加可训练 Verifier 做选择性辩论,并以成功经验回放 GRPO 优化后蒸馏到轻量学生模型
📌 工作参考价值(4 点)
- 多智能体架构可迁移:将商品属性、用户意图、平台规则拆成独立 expert,共享冻结 LLM backbone,只训练 Verifier 做证据裁决。相比 all-in-one CoT 避免单一上下文冲突,训练成本低,适合相关性审核、广告质量分等复杂判定。
- 选择性辩论控制成本:只在三专家第一轮 label 不全体一致时触发 Verifier 提问和专家修订;一致时直接采用 initial adjudication。离线/在线都能大幅降低多轮交互开销,尤其适合高 QPS 场景。
- Successful-experience replay:把 terminal label 正确的轨迹存 pool,每个 input 保留最多 8 条,Replay-GRPO 时每个 input 加 2 条 replay 轨迹与 8 条 fresh rollouts 混合算 group advantage。可在有限 rollout budget 下稳定 RL、提升长尾难例。该 trick 可复用到 RLHF/多轮 agent 训练。
- CoT latent distillation:多智能体 teacher 生成 CoT,用 frozen BGE-M3 编码成 embedding,学生 mBERT 加 cosine loss + CE,推理时只过学生模型。线上 A/B RPM +1.69%、CTR +0.76%,RS +0.3pp,说明 reasoning signal 蒸馏到轻量交叉编码器是低成本落地路径。